Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification
统一多模态自回归建模：共享上下文视觉分词器是关键
🧭 统一多模态自回归架构
Institute of Trustworthy Embodied AI, Fudan University · Shanghai Innovation Institute · Qwen Team, Alibaba Inc.
用单一离散视觉分词器统一多模态理解与生成，实现自回归模型直接解读自身生成视觉token
📌 工作参考价值（4 点）
- 统一视觉分词器设计可借鉴至电商商品多模态表征：单一离散token同时支持识别和生成任务，减少多套编码器的维护成本，对商品图搜索、审核、生成等场景具有统一表征潜力。
- Lookup-free比特量化（bitwise quantization）扩展视觉词汇量的同时保持低开销，类似Semantic ID的思想可用于商品视觉ID构建，将图像转为紧凑离散码，便于在大规模召回或生成式推荐中作为条件。
- 并行比特预测（parallel bitwise prediction）大幅缩短视觉序列长度，加速图像生成推理，对实时性要求高的商品图生成或虚拟试穿等场景有实用价值。
- 若业务中需构建统一的多模态对话/导购助手，共享context的架构能避免重复编码生成结果，降低延迟，值得在Agent设计时参考。